Hilary bắt đầu hẹn hò với ca sĩ Aaron Carter. Họ đã gặp nhau trong phim Lizzie McGuire mà Aaron tham gia 1 tập phim. Họ hẹn hò trong 1 năm rưỡi sau đó họ chia tay.

Từ năm 2004, Hilary quen với giọng ca chính của nhóm nhạc rock Good Charlotte - Joel Madden. Cuối năm 2006 quan hệ của Hilary và Joel kết thúc

Hilary Duff còn tham gia nhiều hoạt động từ thiện. Hilary là thành viên của tổ chức từ thiện Kids with a Cause.

Hilary Duff bắt đầu hẹn hò với cầu thủ khúc côn cầu Mike Comrie vào đầu năm 2007. Họ đính hôn vào ngày 19/02/2010 và kết hôn vào ngày 14/08/2010 sau hơn 2 năm hẹn hò.